Definition Was ist Neural Gas?

Neural Gas ist ein Algorithmus, mit dem sich vektorielle Daten klassifizieren lassen. Er ist von der Arbeitsweise Selbstorganisierender Karten inspiriert (Self-Organizing Maps – SOM), auch Kohonen-Karten genannt. Mithilfe eines neuronalen Netzwerks und unüberwachtem Lernen ist Neural Gas für Aufgaben wie die Datenkomprimierung oder Vektorquantisierung einsetzbar. Typische Anwendungsbereiche sind Cluster-Analysen, Mustererkennung, die Verarbeitung natürlicher Sprache oder die Bildverarbeitung.

Neural Gas, im Deutschen neuronales Gas, ist der Name eines im Jahr 1991 von Thomas Martinetz und Klaus Schulten veröffentlichten lernenden Algorithmus. Er ist von der Arbeitsweise Selbstorganisierender Karten (Self-Organizing Maps – SOM), auch Kohonen-Karten genannt, inspiriert. Mithilfe des Algorithmus und mit per unüberwachten Lernverfahren trainierten künstlichen neuronalen Netzwerken lassen sich vektorielle Daten klassifizieren.

Der Name Neural Gas leitet sich vom Verhalten eines sich im Raum ausbreitenden Gases mit seinen frei beweglichen Gasmolekülen ab. Es ähnelt der Entwicklung der Vektoren im Datenraum während der Lernphase des Algorithmus. Neural Gas lässt sich für die Datenkomprimierung und Vektorquantisierung einsetzen. Der Algorithmus ist eine Alternative zum ebenfalls für die Vektorquantisierung und für Cluster-Analysen verwendeten k-Means-Algorithmus.

Neural Gas ist relativ einfach zu implementieren und anzuwenden. Typische Einsatzbereiche sind die Mustererkennung, die Verarbeitung natürlicher Sprache (Natural Language Processing – NLP), Cluster-Analysen und die Bildverarbeitung. Eine bekannte und häufig verwendete Weiterentwicklung und Erweiterung des Neural-Gas-Algorithmus ist Growing Neural Gas (GNG).

Unterschied Selbstorganisierenden Karten und Neural Gas

Neural Gas ist an Selbstorganisierende Karten (Self-Organizing Maps – SOM), auch Kohonen-Karten genannt, angelehnt. Selbstorganisierende Karten gehen auf eine Arbeit des finnischen Ingenieurs Teuvo Kohonen aus dem Jahr 1982 zurück. Sie sind einer speziellen Eigenschaft des biologischen Gehirns nachempfunden. Im zerebralen Kortex (Großhirnrinde) des Gehirns werden die multidimensionale Eingangsreize von zum Beispiel Sinnesorganen in Strukturen mit einer linearen beziehungsweise planaren Topologie abgebildet. Die multidimensionalen Reize der Sinnesorgane aktivieren abgegrenzte Neuronengebiete.

Die Auswertung der Reize benachbarter Sinnesorgane findet in ebenfalls benachbarten Neuronengebieten statt. Selbstorganisierende Karten übernehmen diese Abbildung und überführen hochdimensionale Eingangsdaten in eine dimensionsreduzierte topologische Darstellung mit geometrischen Beziehungen. Selbstorganisierende Karten arbeiten mit zweischichtigen neuronalen Netzen und unüberwachten Lernvorgängen.

Neural Gas unterscheidet sich von Kohonen-Karten darin, dass keine Topologie mit statischen Nachbarschaftsverbindungen existiert und die Nachbarschaftsstruktur des Netzes nicht festgelegt werden muss. Vektoren sind im Datenraum frei beweglich wie Gasmoleküle im Raum. Dadurch lässt sich eine optimale Verteilung der Vektoren erzeugen.

Prinzipielle Funktionsweise von Neural Gas

Die Erklärung der genauen Funktionsweise und ihre Beschreibung mit mathematischen Formeln würde den Rahmen dieser Definition sprengen. Im Folgenden eine vereinfachte Darstellung der prinzipiellen Funktionsweise von Neural Gas:

Den Ausgangspunkt für den Neural-Gas-Algorithmus bilden eine Häufigkeitsverteilung von Datenvektoren und eine endliche Anzahl von Merkmalsvektoren. Neural Gas arbeitet mit einem neuronalen Netz, das aus gewichteten Neuronen besteht. Der Algorithmus führt in einem unüberwachten Lernvorgang Anpassungsschritte der Merkmalsvektoren durch. Dabei fügt der Neural-Gas-Algorithmus weder Knoten hinzu noch entfernt er Knoten. Mithilfe von Adaptionsschritten, vergleichbar mit dem Gradientenabstieg einer Kostenfunktion, erzielt der Algorithmus letztlich seine Konvergenz. Nach einer gewissen Zahl von Adaptionsschritten decken die Merkmalsvektoren den Datenraum gleichmäßig ab.

Growing Neural Gas (GNG) – eine Weiterentwicklung von Neural Gas

Growing Neural Gas, abgekürzt GNG, ist eine Weiterentwicklung und Erweiterung von Neural Gas. GNG wurde 1995 von Bernd Fritzke entwickelt. Im Gegensatz zu Neural Gas kann Growing Neural Gas während der Anpassungsschritte des Lernvorgangs Neuronen einfügen und entfernen. Die Größe des Netzwerks muss daher nicht schon vorher festgelegt werden. Das Netz wird während des Lernvorgangs in mehreren Iterationen mit Neuronen erweitert und so an die Eingabedaten angepasst. Abhängig von der Aufgabenstellung lässt sich GNG sowohl mit überwachten als auch mit unüberwachten Lernverfahren einsetzen.

Anwendungsmöglichkeiten für Neural Gas

Neural Gas lässt sich für die Datenkomprimierung und Vektorquantisierung einsetzen. Der Algorithmus bietet für bestimmte Anwendungsbereiche eine robuste Alternative zu dem k-Means-Algorithmus. Die Anwendungsmöglichkeiten für mit Neural Gas lernende neuronale Netzwerke sind vielfältig. Typische Anwendungen für den Algorithmus sind:

• die Bildverarbeitung

• Cluster-Analysen

• die Verarbeitung natürlicher Sprache (Natural Language Processing – NLP)

• die Mustererkennung

• die Datenkompression

(ID:48750094)